Depois, os líderes mundiais comprometeram-se a governar a IA de forma responsável. No entanto, à medida que se aproxima a segunda Cimeira de Segurança da IA em Seul (21-22 de maio), vinte e cinco dos principais cientistas de IA do mundo afirmam que não está a ser feito o suficiente para nos proteger dos riscos da tecnologia. Num documento de consenso de especialistas publicado hoje na  Science , eles descrevem prioridades políticas urgentes que os líderes globais devem adotar para combater as ameaças das tecnologias de IA. 

O professor Philip Torr, do Departamento de Ciências da Engenharia da Universidade de Oxford, coautor do artigo, afirma: “O mundo concordou durante a última cimeira sobre IA que precisávamos de ação, mas agora é hora de passar de propostas vagas a compromissos concretos . Este documento fornece muitas recomendações importantes sobre o que as empresas e os governos devem comprometer-se a fazer.'

De acordo com os autores do artigo, é imperativo que os líderes mundiais levem a sério a possibilidade de que sistemas de IA generalistas altamente poderosos – superando as capacidades humanas em muitos domínios críticos – sejam desenvolvidos na presente década ou na próxima. Afirmam que, embora os governos de todo o mundo tenham discutido a IA de fronteira e tenham feito algumas tentativas de introdução de directrizes iniciais, isto é simplesmente incomensurável com a possibilidade de progresso rápido e transformador esperado por muitos especialistas. 

A investigação actual sobre a segurança da IA é gravemente deficiente, estimando-se que apenas 1-3% das publicações sobre IA sejam relativas à segurança. Além disso, não temos mecanismos ou instituições em funcionamento para prevenir o uso indevido e a imprudência, inclusive no que diz respeito ao uso de sistemas autônomos capazes de tomar ações de forma independente e perseguir objetivos.

À luz disto, uma comunidade internacional de pioneiros da IA emitiu um apelo urgente à ação. Os coautores incluem Geoffrey Hinton, Andrew Yao, Dawn Song, o falecido Daniel Kahneman; no total, 25 dos maiores especialistas acadêmicos do mundo em IA e sua governança. Os autores vêm dos EUA, China, UE, Reino Unido e outras potências de IA, e incluem vencedores do prêmio Turing, ganhadores do Nobel e autores de livros didáticos padrão de IA.

Este artigo é a primeira vez que um grupo tão grande e internacional de especialistas chega a um acordo sobre as prioridades para os decisores políticos globais no que diz respeito aos riscos dos sistemas avançados de IA.

Os autores recomendam aos governos que:

estabelecer instituições especializadas e de acção rápida para a supervisão da IA e fornecer-lhes um financiamento muito maior do que o que deveriam receber ao abrigo de quase qualquer plano político atual. A título de comparação, o Instituto de Segurança da IA dos EUA tem atualmente um orçamento anual de 10 milhões de dólares , enquanto a Food and Drug Administration (FDA) dos EUA tem um orçamento de 6,7 mil milhões de dólares.

exigir avaliações de risco muito mais rigorosas com consequências aplicáveis, em vez de confiar em avaliações de modelos voluntários ou subespecificados.

exigem que as empresas de IA priorizem a segurança e demonstrem que seus sistemas não podem causar danos. Isto inclui a utilização de “casos de segurança” (utilizados para outras tecnologias críticas para a segurança, como a aviação), que transferem o fardo da demonstração da segurança para os criadores de IA.

implementar padrões de mitigação proporcionais aos níveis de risco apresentados pelos sistemas de IA. Uma prioridade urgente é estabelecer políticas que sejam acionadas automaticamente quando a IA atinge determinados marcos de capacidade. Se a IA avançar rapidamente, os requisitos rigorosos entrarão automaticamente em vigor, mas se o progresso abrandar, os requisitos serão reduzidos em conformidade.

Segundo os autores, para futuros sistemas de IA excepcionalmente capazes, os governos devem estar preparados para assumir a liderança na regulamentação. Isto inclui licenciar o desenvolvimento destes sistemas, restringir a sua autonomia em funções sociais fundamentais, interromper o seu desenvolvimento e implantação em resposta a capacidades preocupantes, impor controlos de acesso e exigir medidas de segurança da informação robustas para hackers a nível estatal, até que proteções adequadas estejam prontas.

A IA já está a fazer progressos rápidos em domínios críticos, como a pirataria informática, a manipulação social e o planeamento estratégico, e poderá em breve colocar desafios de controlo sem precedentes. Para promover objetivos indesejáveis, os sistemas de IA poderiam ganhar a confiança humana, adquirir recursos e influenciar os principais decisores. Para evitar a intervenção humana, eles poderiam ser capazes de copiar seus algoritmos através de redes globais de servidores. O cibercrime em grande escala, a manipulação social e outros danos poderão aumentar rapidamente. Em conflitos abertos, os sistemas de IA poderiam utilizar autonomamente uma variedade de armas, incluindo armas biológicas. Consequentemente, há uma possibilidade muito real de que o avanço descontrolado da IA possa culminar numa perda em grande escala de vidas e da biosfera, e na marginalização ou extinção da humanidade.

O coautor do estudo, Dr. Jan Brauner, do Departamento de Ciência da Computação da Universidade de Oxford, disse: “Tecnologias como voos espaciais, armas nucleares e a Internet passaram da ficção científica para a realidade em questão de anos. A IA não é diferente. Temos que nos preparar agora para riscos que podem parecer ficção científica – como a invasão de sistemas de IA em redes e infraestruturas essenciais, a manipulação política em escala da IA, os soldados-robôs de IA e os drones assassinos totalmente autônomos, e até mesmo as IAs que tentam nos enganar e fugir de nossos esforços. para desligá-los. Atualmente, o mundo da IA está focado em levar cada vez mais longe as capacidades da IA, com a segurança e a ética em segundo plano. Para que a IA seja uma bênção, precisamos de nos reorientar; impulsionar capacidades não é suficiente.'

O artigo 'Gerenciando riscos extremos de IA em meio ao progresso rápido' foi publicado na Science.